To balance the annotation labor and the granularity of supervision, single-frame annotation has been introduced in temporal action localization. It provides a rough temporal location for an action but implicitly overstates the supervision from the annotated-frame during training, leading to the confusion between actions and backgrounds, i.e., action incompleteness and background false positives. To tackle the two challenges, in this work, we present the Snippet Classification model and the Dilation-Erosion module. In the Dilation-Erosion module, we expand the potential action segments with a loose criterion to alleviate the problem of action incompleteness and then remove the background from the potential action segments to alleviate the problem of action incompleteness. Relying on the single-frame annotation and the output of the snippet classification, the Dilation-Erosion module mines pseudo snippet-level ground-truth, hard backgrounds and evident backgrounds, which in turn further trains the Snippet Classification model. It forms a cyclic dependency. Furthermore, we propose a new embedding loss to aggregate the features of action instances with the same label and separate the features of actions from backgrounds. Experiments on THUMOS14 and ActivityNet 1.2 validate the effectiveness of the proposed method. Code has been made publicly available (https://github.com/LingJun123/single-frame-TAL).
translated by 谷歌翻译
从深度学习中获得的语义分割利润,并显示了其从现场检查中处理图形数据的可能性。结果,应检测到立面图像中的视觉损害。注意机制和生成对抗网络是提高语义分割质量的最流行的两种策略。本文侧重于这两种策略,采用了代表性卷积神经网络U-NET作为主要网络,并以两步提出了比较研究。首先,通过注意机制或生成对抗网络,细胞图像分别用于确定U-NET中最有效的网络。随后,将第一个测试中的选定网络及其组合应用于立面损坏分割,以研究这些网络的性能。此外,发现并讨论了注意机制和生成对抗网络的综合效果。
translated by 谷歌翻译
在图像采集过程中,噪声无处不在。足够的降解通常是图像处理的重要第一步。近几十年来,深度神经网络(DNN)已被广泛用于图像denosising。大多数基于DNN的图像Denoising方法都需要大规模数据集或专注于监督设置,其中需要单个/对的干净图像或一组嘈杂的图像。这给图像采集过程带来了重大负担。此外,在有限规模的数据集上接受培训的DeNoiser可能会产生过度拟合。为了减轻这些问题,我们基于Tucker低级张量近似引入了一个新的自我监督框架,以供图像Denoising。借助提出的设计,我们能够以更少的参数来表征我们的Denoiser,并根据单个图像进行训练,从而大大提高了模型的推广性并降低了数据获取的成本。已经进行了合成和现实世界嘈杂图像的广泛实验。经验结果表明,我们提出的方法优于现有的非学习方法(例如,低通滤波器,非本地均值),单像无监督的DENOISER(例如DIP,DIP,NN+BM3D)在样本中和样本中评估户外样本数据集。提出的方法甚至通过一些有监督的方法(例如DNCNN)实现了可比的性能。
translated by 谷歌翻译
变压器验证引起了机器学习研究和行业的越来越多的关注。它正式验证了变压器对对抗性攻击的鲁棒性,例如用同义词交换单词。但是,由于以中线为中心的计算,变压器验证的性能仍然不令人满意,这与标准神经网络有显着差异。在本文中,我们提出了信仰,这是用于GPU的变压器验证的有效框架。我们首先提出一个语义意识的计算图转换,以识别语义信息,例如变压器验证中的结合计算。我们利用此类语义信息,以在计算图级别启用有效的内核融合。其次,我们提出了一个验证专门的内核手工艺品,以有效地将变压器验证映射到现代GPU。该手工艺者利用了一组GPU硬件支持,以加速通常是内存密集型的验证专业操作。第三,我们提出了一个专家指导的自动调整,以纳入有关GPU后端的专家知识,以促进大型搜索空间探索。广泛的评估表明,Faith在最先进的框架上实现了$ 2.1 \ times $至$ 3.4 \ times $($ 2.6 \ times $)的加速。
translated by 谷歌翻译
在某些研究中,无限的外部存档已用于存储通过进化多目标优化算法发现的所有非主导溶液。已经表明,从存储解决方案中选择的溶液子集通常比最终人群更好。但是,无限档案的使用并不总是现实的。当检查的解决方案数量很大时,我们必须预先指定存档尺寸。在这项研究中,我们检查了存档大小对三个方面的影响:(i)选定的最终解决方案集的质量,(ii)存档维护和最终解决方案集的总计算时间,以及(iii)所需的内存大小。毫不奇怪,存档尺寸的增加可提高最终解决方案集质量。有趣的是,中型存档的总计算时间比小型档案和庞大的档案库(例如,无限档案)大得多。为了减少计算时间,我们检查了两个想法:仅在后代进行定期档案更新和存档。与每一代更新档案库相比,第一个想法可以使用较短的计算时间以略有增加的记忆尺寸来获得几乎相同的最终解决方案设置质量。第二个想法大大减少了计算时间,而最终解决方案集质量的成本略有恶化。 Based on our experimental results, some suggestions are given about how to appropriately choose an archiving strategy and an archive size.
translated by 谷歌翻译
大多数现有的基于深度学习的单图像动态场景盲目脱毛(SIDSBD)方法通常设计深网络,以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊,而无需模糊的内核估计。在本文中,受投射运动路径模糊(PMPB)模型和可变形卷积的启发,我们提出了一个新颖的约束可变形的卷积网络(CDCN),以进行有效的单图像动态场景,同时实现了准确的空间变化,以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中,我们首先构建了一种新型的多尺度多级多输入多输出(MSML-MIMO)编码器架构,以提高功能提取能力。其次,与使用多个连续帧的DLVBD方法不同,提出了一种新颖的约束可变形卷积重塑(CDCR)策略,其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征,用于学习学习的抽样点,以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计,然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛,这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配,并促进空间变化的运动模糊内核估计的准确性。
translated by 谷歌翻译
在许多现实世界应用中,例如市场和医学,基于短期替代物的长期因果影响是一个重大但具有挑战性的问题。尽管在某些领域取得了成功,但大多数现有方法以理想主义和简单的方式估算了因果影响 - 忽略了短期结果之间的因果结构,而将所有这些因果关系视为代孕。但是,这种方法不能很好地应用于现实世界中,其中部分观察到的替代物与短期结局中的代理混合在一起。为此,我们开发了灵活的方法激光器,以估计在更现实的情况下观察或观察到代理的更现实的情况。 (ivae)在所有候选者上恢复所有有效的替代物,而无需区分观察到的替代物或潜在代理人的代理。在回收的替代物的帮助下,我们进一步设计了对长期因果影响的公正估计。关于现实世界和半合成数据集的广泛实验结果证明了我们提出的方法的有效性。
translated by 谷歌翻译
有效的骨干网络对于基于深度学习的可变形医学图像注册(DMIR)很重要,因为它可以提取和匹配两个图像之间的特征,以发现互联网的相互对应。但是,现有的深网关注单图像,并且在配对图像上执行的注册任务有限。因此,我们推进了一个新型的骨干网络Xmorpher,用于DMIR中有效的相应特征表示。 1)它提出了一种新颖的完整变压器体系结构,包括双重平行特征提取网络,通过交叉注意交换信息,从而在逐渐提取相应的特征以逐渐提取最终有效注册时发现了多层次的语义对应。 2)它推进了交叉注意变压器(CAT)块,以建立图像之间的注意机制,该图像能够自动找到对应关系并提示特征在网络中有效融合。 3)它限制了基本窗口和搜索不同尺寸的窗口之间的注意力计算,因此着重于可变形注册的局部转换,并同时提高了计算效率。我们的Xmorpher没有任何铃铛和哨子,可在DSC上提高2.8%的素孔,以证明其对DMIR中配对图像的特征的有效表示。我们认为,我们的Xmorpher在更多配对的医学图像中具有巨大的应用潜力。我们的Xmorpher在https://github.com/solemoon/xmorpher上开放
translated by 谷歌翻译
转移学习旨在利用预先培训模型的知识来受益。先前的转移学习工作主要是从单个模型转移。但是,随着从不同资源预先训练的深层模型的出现,由具有各种体系结构的各种模型组成的模型中心,预先训练的数据集和学习范式可用。直接将单模传输学习方法应用于每种模型,都会浪费对模型中心的丰富知识,并遭受高计算成本。在本文中,我们提出了一个枢纽 - 校园框架,以实现从模型中心的知识转移。该框架生成数据依赖性途径权重,基于我们在输入级别分配路径路由以确定激活哪些预训练模型并通过了哪些预训练的模型,然后在输出级别设置了途径聚集,以从不同做出预测的模型。可以通过针对特定于任务的损失端对端训练所提出的框架,在该损失中,它将学会探索更好的途径配置并利用每个目标基准的预训练模型中的知识。我们利用嘈杂的途径生成器并设计勘探损失,以进一步探索整个模型中心的不同途径。为了充分利用预训练模型中的知识,每个模型都会通过激活它的特定数据进一步培训,从而确保其性能并增强知识传递。计算机视觉和强化学习任务的实验结果表明,所提出的枢纽式框架实现了模型中心传输学习的最新性能。
translated by 谷歌翻译
Uplift建模是一种快速增长的方法,它利用因果推理和机器学习方法直接估计异质治疗效果,该效果已广泛应用于各种在线市场,以帮助近年来大规模决策。现有的流行模型,例如因果森林(CF),仅限于离散治疗或对可能遭受模型错误指定的结果处理关系的参数假设。但是,在市场上经常出现连续的治疗(例如,价格,持续时间)。为了减轻这些限制,我们使用基于内核的双重稳健估计器来恢复非参数剂量反应函数,可以灵活地对连续治疗效果进行模拟。此外,我们提出了一个基于距离的分裂标准,以捕获连续处理的异质性。我们称提出的算法广义因果林(GCF)将CF的用例推广到更广泛的环境。我们通过得出估算器的渐近性能,并将其与合成和现实世界数据集的流行隆升建模方法进行比较,从而显示了GCF的有效性。我们在Spark上实施GCF,并成功将其部署到领先的乘车共享公司的大规模在线定价系统中。在线A/B测试结果进一步验证了GCF的优势。
translated by 谷歌翻译